package com.ruge.test.springMVC.胡图.Hutool_http.起点小说;

import cn.hutool.core.util.ReUtil;
import cn.hutool.http.HttpUtil;
import org.junit.Test;
import org.openxmlformats.schemas.drawingml.x2006.diagram.STOutputShapeType;

import java.util.List;

/**
 * 爱丽丝、如歌  创建于 2018/7/31 13:37
 * 说明:  TODO
 */
public class 完本小说遍历 {
    /**
     * 开源中国爬虫demo
     */
    @Test
    public void test1() {
        //请求列表页
        String listContent = HttpUtil.get("https://www.oschina.net/action/ajax/get_more_news_list?newsType=project&p=2");
//使用正则获取所有标题
        //使用正则获取所有标题
        List<String> titles = ReUtil.findAll("<span class=\"text-ellipsis\">(.*?)</span>", listContent, 1);
        for (String title : titles) {
            //打印标题
            //System.out.println(title);
        }
    }

    @Test
    public void test2() {
        String url = "https://www.qidian.com/rank/yuepiao?chn=0";
        //String listContent = HttpUtil.get(url);
        //System.out.println(listContent);


    }
}
